Validez de las reglas de un análisis estadístico implicativo según juicio de expertos

Introducción: una nueva metodología para el empleo del análisis estadístico implicativo contextualizado a las investigaciones médicas de causalidad brinda reglas y meta-reglas que deben corresponderse con la práctica médica, lo cual se desconoce. Objetivo: evaluar la calidad de las reglas derivadas de la aplicación del análisis estadístico implicativo en las investigaciones médicas de causalidad. Métodos: se realizó un estudio observacional con la aplicación de técnicas cualitativas de tipo criterio de expertos. Los 33 expertos de mayor puntuación emitieron su juicio, mediante una escala Likert de cinco puntos, acerca de la frecuencia con que se cumplen en la práctica médica 23 reglas derivadas de la aplicación del análisis estadístico implicativo en tres estudios para la identificación de factores pronósticos en cáncer de mama. Las opiniones se procesaron mediante el método Delphi en dos rondas y se trianguló con la validez racional de estas reglas. Resultados: los expertos consideraron que cerca del 74 % de las reglas se cumplen en la práctica médica siempre o frecuentemente y sólo una regla resultó absurda. En la segunda ronda se trataron las tres reglas en las que no existió un acuerdo perfecto, en la cual se ratificó una regla como absurda y aumentó el nivel de acuerdo. La triangulación permitió encontrar contradicciones literatura-experto que facilitaron la identificación de problemas en la redacción de la interpretación de las reglas. Conclusiones: las reglas evaluadas reflejan, en general, lo que ocurre en la práctica médica y aquellas que resultan absurdas alertan al investigador sobre un posible sesgo de confusión.

Introduction: A new methodology for the use of contextualized statistical implicative analysis in causality medical research provides rules and meta-rules that must correspond to medical practice, which is unknown. Objective: To evaluate the quality of the rules derived from the application of the statistical implicative analysis in causality medical research. Methods: An observational study was carried out applying qualitative techniques based on expert judgement. Using a five-point Likert scale, the 33 experts with the highest score expressed their judgment about the frequency of the fulfilment of the 23 rules derived from the application of the statistical implicative analysis in three studies in order to identify prognostic factors for breast cancer. Opinions were processed using the two-round Delphi method, and the rational validity of these rules was triangulated. Results: The experts considered that about 74% of the rules are always or frequently followed in medical practice; only one rule was absurd. In the second round, the three rules in which there was no perfect agreement were discussed; one rule was ratified as absurd and there was an increase in the level of agreement. The triangulation allowed us to find contradictions between literature and experts, which facilitated the identification of problems in the drafting of the interpretation of the rules. Conclusions: The rules evaluated generally reflect what happens in medical practice and those that are absurd warn the researcher about the possibility of a confusion bias.

Validación de dominios y competencias por grupos focales y juicio de expertos / Validation of domains and competencies by focus groups and expert judgment

Resumen El Consejo Mexicano de Ginecología y Obstetricia certifica a los especialistas para ejercer su especialidad y brindar una atención de alta calidad a las pacientes. En la actualidad, el Consejo está rediseñando el examen de Certificación en Ginecología y Obstetricia orientado a la evaluación de competencias profesionales a partir de las actividades profesionales confiables que permitan identificar los dominios de la competencia médica en un especialista. La competencia es una variedad de habilidades ejercidas a través de múltiples dominios o aspectos del desempeño profesional; sus descriptores requieren que contengan habilidades relevantes, contexto y la etapa o nivel de evaluación. Por su parte, los dominios son un conjunto de competencias clave. Este informe incluye los resultados de la primera validación en México de dominios y competencias para la evaluación de los ginecoobstetras a partir de una metodología cualitativa que comprende una revisión de la bibliografía, grupos focales, análisis de trabajos colegiados y validación por juicio de expertos. Los resultados se presentan divididos por los ocho dominios en los que se trabajó, se mencionan los comentarios más relevantes a discutir por los cuatro grupos focales. Éstos y la validación por expertos permitió reunir comentarios valiosos, coherentes y funcionales para el sistema de evaluación que quiere llevar a cabo el Consejo. Este ejercicio permitirá el posterior desarrollo de la tabla de especificaciones, reactivos o nuevos instrumentos de evaluación coherentes con un sistema de dominios, competencias y actividades profesionales confiables.

Abstract The Mexican Council of Gynecology and Obstetrics certifies specialists to practice their specialty and provide high-quality healthcare to patients. Currently, the Council is redesigning the Gynecology and Obstetrics Certification exam, oriented to the evaluation of professional competencies based on reliable professional activities that allow the identification of domains of a specialist's medical competencies. Competency can be defined as a variety of skills across multiple domains or aspects of professional performance. Its descriptors require to contain relevant skills, context, and the stage or level of assessment. Domains can be described as a set of competencies that are considered essential. This report includes the results of the first validation done in Mexico. The validation of domains and competencies for the evaluation of physicians in the area of Obstetrics and Gynecology is based on a qualitative methodology that includes a literature review, focus groups, analysis of collegiate works, and validation through expert judgment. The obtained results are divided into eight domains that mention the most relevant observations that were discussed by the four focus groups. The focus groups and the validation through expert judgment made it possible to gather valuable, coherent, and functional feedback for the evaluation system that the Council wants to carry out. This method will allow the subsequent development of the table of specifications, items, or new evaluation instruments congruent with a system of domains, competencies, and reliable professional activities.

Diseño y validación de los instrumentos cuantitativo y cualitativo 0-6 lme para determinar los factores de riesgo de la interrupción de la lactancia materna exclusiva / Design and validation of the quantitative and qualitative instruments 0-6 lme to determine the risk factors of the interruption of exclusive breastfeeding

La lactancia materna exclusiva (LME) ha sido considerada una práctica saludable, ya que contribuye con nutrientes esenciales para la salud y crecimiento del niño. Desde esta perspectiva se considera necesario disponer de instrumentos de medición como herramientas para el levantamiento de información sobre problemáticas de salud. Por consiguiente, para garantizar la calidad del instrumento, es indispensable que éste sea sometido a un proceso de validación por juicio de expertos. Objetivo: Validar los instrumentos cuantitativo y cualitativo 0-6 LME para establecer los factores de riesgo que determinan la interrupción de la lactancia materna exclusiva. Método: La metodología empleada tuvo un enfoque mixto (cuantitativo.- cualitativo) de corte transversal, exploratorio, descriptivo y de campo. El enfoque cualitativo es fenomenológico e interpretativo. El instrumento cuantitativo se diseñó con respuestas dicotómicas y polinómicas y el instrumento cualitativo fue diseñado con preguntas abiertas para realizar la entrevista a profundidad o saturación. Como responsables de la validación de los instrumentos estuvieron 2 PhD, 1 especialista y 2 investigadores. Resultados: La validación por parte de los expertos determinó para el criterio de pertinencia 93,18 puntos, para el criterio validez 93,07 puntos y para el criterio coherencia 92,67. Del mismo modo fueron obtenidos los resultados para el instrumento cualitativo, el criterio validez 95,73 puntos, para el criterio pertinencia 95,73 y para coherencia 95,73 puntos. Conclusión: se establece que los instrumentos son considerados confiables de acuerdo al juicio de los expertos, por lo tanto, fueron validados y servirán como aporte para obtener los datos requeridos en la investigación científica(AU)

Exclusive breastfeeding (EBF) has been considered a healthy practice, since it contributes essential nutrients for the health and growth of the child. From this perspective, it considered necessary to have measurement instruments as tools for gathering information on health problems. Therefore, to guarantee the quality of the instrument, it is essential to submit these instruments to an expert validation process based on expert judgment. Objective: To validate the quantitative and qualitative instruments 0-6 LME to establish the risk factors that determine the interruption of exclusive breastfeeding. Method: The methodology used had a mixed approach (quantitative-qualitative) of cross-sectional, exploratory, descriptive and field sections. The qualitative approach is phenomenological and interpretive. The quantitative instrument was designed with dichotomous and polynomial responses and the qualitative instrument was designed with open questions to carry out the interview in depth or saturation. Responsible for the validation of the instruments were 2 PhD, 1 specialist and 2 researchers. Results: The validation by the experts determined for the relevance criterion 93.18 points, for the validity criterion 93.07 points and for the coherence criterion 92.67. In the same way, the results obtained for the qualitative instrument, the validity criterion 95.73 points, for the relevance criterion 95.73 and for coherence 95.73 points. Conclusion: it established that the instruments are considered reliable according to the judgment of the experts; therefore, they were validated and will serve as a contribution to obtain the data required in scientific research(AU)

Perfil profesional y experiencia escolar en la validación de categorías observacionales de interacciones en aula / Professional prof le and school experience in the validation of observational categories of classroom interactions / Perf profissional e experiência escolar na validação de categorias observacionais de interacções de sala de aula

RESUMEN Este artículo analiza en qué medida las observaciones realizadas por un grupo de profesionales de la educación, con y sin experiencia en docencia, difieren durante la validación de un sistema de análisis de interacciones en aula entre estudiantes y profesores videograbada. Metodológicamente se optó por un estudio cuantitativo exploratorio y descriptivo, con estudio de caso único. El sistema de análisis propone cinco categorías: intercambios, intervención del profesor, hablante principal, dirección del habla del profesor y estructura de la clase. Para determinar la consistencia y validez de contenido mediante el coeficiente kappa de Cohen, los observadores codificaron una clase de 45 minutos de la asignatura de Lenguaje y Comunicación de Octavo Básico de una escuela particular subvencionada en Santiago de Chile. Los resultados muestran que los niveles de acuerdo de los observadores en torno a las categorías definidas varían de fuerte a débiles. Las diferencias observadas podrían ser explicadas por la formación profesional y la experiencia previa en docencia de los observadores.

ABSTRACT This article analyzes to what extent the observations made by a group of professionals, with and without teaching experience, differ during the validation of a classroom interaction analysis system between videotaped students and teachers. Methodologically, a quantitative exploratory and descriptive study was chosen, with a single case study. The analysis system proposes five categories: exchanges, teacher intervention, main speaker, teacher's speech direction and class structure. To determine content consistency and validity using Cohen's kappa coefficient, observers coded a 45-minute Spanish class from a private subsidized school in Santiago de Chile. The results show that the levels of agreement of the observers around the defined categories vary from strong to weak. The observed differences depend on profesional training and previous classroom work experience.

RESUMO Este artigo analisa até que ponto as observações feitas por um grupo de profissionais da educação, com e sem experiência de ensino, diferem durante a validação de um sistema de análise das interações em sala de aula entre alunos e professores gravados em vídeo. Metodologicamente, foi escolhido um estudo exploratório e descritivo quantitativo, com um único estudo de caso. O sistema de análise propõe cinco categorias: intercâmbios, intervenção do professor; orador principal, direcção da fala do professor e estrutura da turma. Para determinar a consistência e validade do conteúdo por meio do coeficiente kappa de Cohen, os observadores codificaram uma aula de 45 minutos na disciplina de Língua e Comunicação na 8a série em uma escola privada subsidiada em Santiago, Chile. Os resultados mostram que os níveis de concordância dos observadores em torno das categorias definidas variam de fortes a fracos. As diferenças observadas poderiam ser explicadas pela formação profissional dos observadores e pela sua experiência de ensino anterior

Validación de una metodología diagnóstica para usos de drogas a nivel local / Validation of a diagnostic methodology for drug uses at the local level

Introducción: La creciente diversidad de problemas asociados al consumo de drogas ha vuelto imprescindible el desarrollo de metodologías para el diagnóstico de su expresión local a nivel sanitario y social. Objetivo: Validación de la Guía metodológica para la elaboración de Diagnósticos Locales de problemas asociados al uso de drogas. Métodos: Se realizó una consulta a expertos sobre la metodología considerada, en enero de 2016. Se utilizó el Google Form para la administración del formulario de encuesta con preguntas cerradas y abiertas. Las respuestas cerradas fueron procesadas con los recursos estadísticos del Google Form y las abiertas fueron codificadas para análisis de contenido simple de los discursos mediante el programa Atlas-ti 6.2. Resultados: Se consultó a una muestra de veinte expertos de ocho países y ocho disciplinas diferentes con inscripciones académicas múltiples en países sudamericanos y extraregionales. En virtud de las opiniones mayoritarias y consensuales de los expertos, la guía fue validada y reconocida como un instrumento valioso para el desarrollo de diagnósticos locales. Conclusiones: Se considera que la metodología estudiada constituye en la actualidad la mejor opción para la realización de un diagnóstico local de los problemas sanitarios asociados al uso de drogas en una pequeña localidad(AU)

Introduction: The growing diversity of problems associated with drugs use has become essential to the development of methodologies for the diagnosis of their local expression at the health and social levels. Objective: To validate the Methodological Guide for the elaboration of local diagnoses of problems associated to drugs use. Methods: It was conducted a consultation to experts on the considered methodology in January, 2016. It was used Google Form for the management of a survey form with closed and open questions. The closed answers were processed with the statistical resources of Google Form and the open were coded for analysis of simple content of the speeches by the Atlas-ti 6.2. program. Results: It was consulted a sample of 20 experts from eight countries and eight different academic disciplines with inscriptions in South American and out of the region countries. Under the majority and consensual opinions of the experts, the guide was validated and recognized as a valuable instrument for the development of local assessments. Conclusions: It is considered that the methodology studied currently represents the best option for the implementation of a local diagnosis of health problems associated with the use of drugs in a small town(AU)